Chùa nằm cạnh bãi đá Cà Dược bảy màu. Chùa còn có tên gọi dân gian là "Chùa Hang". Chùa Cổ Thạch lọt thỏm giữa những hang động trên một ngọn đồi đá cao 64 m so với mặt nước biển.

Khu vực chùa Cổ Thạch là một quần thể kiến trúc, am, điện, cốc liên hoàn với nhau trên khu đồi đá rộng hơn 4 ha. Chính điện chùa nằm trong quần thể núi đá tự nhiên, có khi nằm lọt thõm giữa những tảng đá to. Kế đó là các nhà thiền, từ đường, nhà tổ, gác chuông, lầu trống, am cốc thờ tự, với những câu liễn phi, hoành đối khá ấn tượng và bảo quản tốt. Nhiều di sản văn hoá Hán Nôm, liên, đối, hoành phi và những tài liệu có từ ngày tạo lập chùa. một số cổ vật có giá trị lịch sử văn hoá khác như Đại Hồng chung, trống sấm đều có niên đại từ nửa đầu thế kỷ 19 Mỗi hang động thờ một vị Phật, hoặc Bồ tát, hoặc một nhà sư đã viên tịch. Hang thờ Tổ khai sơn Cổ Thạch Tự là nhà sư Bảo Tạng, có tượng nhà sư và nhiều bài vị của những người có công lao xây dựng chùa. Hang thờ Phật Mẫu Chuẩn Đề là một hang động bên trong có tượng Phật 8 tay và nhiều tượng cổ. Hang Tam Bảo thờ 23 pho tượng Phật cổ với nhiều kích thước và niên đại khác nhau...

Phần chùa chiền và các am cốc hay các miếu nhỏ xây dựng trên cùng miêu tả cuộc đời Đức Phật và các chư vị Bồ Tát. Trên mỏm núi đá nhỏ sát bờ biển có tượng Quán Thế Âm Bồ Tát. Tại đây có đỉnh gọi là đỉnh Linh Thứu mô tả các tích điển trong Phật giáo.

Cạnh chùa là bãi đá Cà Dược nhiều màu sắc chạy dọc bờ biển. Tại đây có bãi biển cho du khách tắm còn khá hoang sơ. Cổ Thạch Tự hàng chục năm nay do Hoà Thượng Thích Minh Đức trụ trì là điểm du lịch chính của Bình Thuận, hàng chục vạn du khách từ mọi miền đất nước đến đây hàng năm để chiêm bài, lễ Phật và tham quan danh lam thắng cảnh độc đáo hiếm có ở đây.